Иван Максимов | 13 способов ускорить А/В тест, или "Не CUPED-ом единым"

ML in Marketing hub: https://ods.ai/hubs/ml-in-marketing
Телеграм-канал https://t.me/mlinmarketing

Спикер: Иван Максимов, Data Science Team Lead at Delivery Club

Многие аналитики для ускорения А/В тестов в первую очередь используют достаточно сложные статистические приемы (например, CUPED). Однако существует огромное множество более простых и эффективных способов ускорить А/В тесты. Мы обсудим 13 таких способов: от улучшения процесса дизайна теста до применения стат критерия и финального принятия решения о выкатке фичи. А также оценим потенциальный trade-off эффект-затраты от внедрения каждого из способов.

Что было в докладе:
00:00 начало видео
01:18 сразу о результатах
02:07 содержание доклада
03:03 как выбирать АБ параметры
07:47 расчет количества групп
11:09 расчет количества метрик
16:18 трансформация метрик
18:58 линеаризация ratio метрик
23:39 как снизить дисперсию метрик
28:02 пост-стратификация, Cuped, cupac
31:20 !ссылка на статьи
32:44 параллельные тесты
35:07 механика бакетов
40:24 стандарт дизайна АБ теста
44:35 календарь АБ
45:29 авто расчет АБ
46:12 культура принятия решений после АБ
47:36 результаты
48:47 с чего начать внедрение АБ в компании

https://t.me/mlinmarketing
Посмотреть QNA сессию можно по этой ссылке https://t.me/c/1190393733/244
Ссылка на презентацию: https://drive.google.com/file/d/1VPNg...

Соцсети Data Fest:
https://t.me/datafest
https://vk.com/datafest